「虚拟制作」在中国走了多远？
👆本号引起极度舒适，建议星标一下
不仅要让影片制作的每一步都能被实时检验、修改，做到并行开发，还要让实拍的效果最大程度接近最终成片，总而言之，就是要让影视创作者的创作过程变得更“爽”。
作者 | 任彤瑶
几位年轻人坐在大堂内交谈，身后是热闹的人群，明亮的阳光从右侧的窗框照进来，为人物的轮廓镀上一层柔和的光晕。
这个实时拍摄的场景中，除了主角以及身前的桌椅，整个建筑、光源乃至群演们，全是背后LED屏虚构的。镜头扫过这个24米长的巨大环屏，肉眼无法从监视器中分辨出虚实的界限。
这段画面来自博采传媒，一个位于杭州的老牌影视公司，以广告与CG动画制作见长。2016年开始，公司投入上亿研发属于自己的虚拟制作工具，围绕“实时”与“并行”两个关键词，团队从底层代码开始，开发了从Previz、Techviz到实拍的影视虚拟制作全流程。
四年研发成果初显，这个意在让影视创作“所见即所得”的公司，正试图从另一条道路上与好莱坞同台竞争，甚至走到前面去。
此前《三声》（微信公众号ID：tosansheng）关注过不少院线大片的创作幕后，一部大型作品，往往能推动行业上下游获得有效的技术与协作经验。
但制作技术和流程的逐步革新，往往不是只靠大片/大导演，也靠业内公司自下而上的尝试推动。相对于其他行业，产业链条长、分工复杂的影视变化更慢，当我们把影视技术放在新商业、新制造的产业链里看，关注重建生产流程的试验就有了意义。博采传媒正是案例之一。
01 | 所见即所得
长久以来，电影生产遵循一套线性的流程，环环紧扣，每一个的改动都会带来巨大成本。
“大家常说电影是遗憾的艺术。没有人说小说是遗憾的小说，写不好就撕掉重新写一遍，但电影不行。”博采传媒创始人李炼告诉《三声》。
比如特效镜头的拍摄，演员需要在绿幕前完成表演，再交由后期完成特效制作，如果在剪辑过程中发现有遗漏或不当，就需要靠后期或重新返回绿幕棚内补拍，再进入特效制作-剪辑的循环。最近的例子来自《正义联盟》，华纳为导剪版投入了7000万补拍预算。
对已具备成熟体系的好莱坞而言，这种重型的线性生产不是难题，甚至是好莱坞之所以为好莱坞的优势所在。经过近百年的发展，以大娱乐巨头、大制片公司为中心，好莱坞形成了一套分工精细、成熟的生产流程。
毫无疑问，这是一套优秀的工业体系，但照搬到国内并不完全适配。“好莱坞的开发流程依然是线性的，每个环节都有非常成熟的人才，但中国人才基础是不一样的，每一局部的人才不足都可能导致重工业流程卡壳，在中国学习好莱坞的重工业还是蛮痛苦的。”李炼说。
李炼算是位斜杠中年，毕业后干过摄影、剪辑，策划创意，做过电视剧导演，广告导演，动画电影导演，还做过电影特效。1993年成立博采传媒后，开始深入接触动画制作与广告创意业务。在影视行业摸爬打滚了二十多年，做过流程线上的不同工种，他感觉到，中国的影视市场与人才储备状况，没办法在短时间内让整个产业变得更好。
有没有其他缩短制作周期的路径？改变流程本身或许是一种解法。
“2016年我给自己定了个目标，换个思路想未来模式，我们想未来要发展一种迭代开发的影视流程，而不是像原来这样必须完成一步才能走下一步，一步一步线性地做下去，要变成并行的。”李炼说。
并行开发的底层逻辑是“实时”。这意味着迭代开发，快速试错。
举个例子或许更好理解。在胶片年代，拍完照冲洗出来才能看到影像，很难返回修改，但数字化技术让拍摄成果的检验变得实时，拍照过程也就变得更轻巧灵活。这是发生在拍摄环节的一项“实时”革新。
李炼认为，类似的技术改进如果能发生在影视制作的每个环节，如在实拍过程中，能通过虚拟制作系统实时看到特效场景的成片，并且可以反复快速修改，电影就可能不再是“遗憾的艺术”了。
“图像技术、渲染技术包括人工智能都日新月异，电影生产模式也到了该变化的时候。”李炼说。
事实上，好莱坞也在发生类似的变革。特效技术的进步，让实时Previz（预制片）得到了越来越多运用，虚拟制作的概念也因《曼达洛人》等作品获得了广泛关注。
“但好莱坞还在原来的重工业的体系中，某一个环节上这样做。我们是一整个体系都用虚拟逻辑方式做，这个是最大的差别。”李炼说，“从最底层开始实时Previz，到Techviz，再到实拍，我们想把整个流程全部用实时的逻辑去做。”
他戏称，这是“光脚的不怕穿鞋的”，某种程度上，中国影视工业的不定型，在面对技术变革时反而显得更灵活进取。
2016年，博采传媒正式投入研发虚拟制片系统，团队探索的方向被总结为一句话：所见即所得，“make every production step real time”。
不仅要让影片制作的每一步都能被实时检验、修改，做到并行开发，还要让实拍的效果最大程度接近最终成片，总而言之，就是要让影视创作者的创作过程变得更“爽”。
02 | 改变Previz环节
确定方向后，公司开始为研发团队招兵买马，开发全流程软件。
李炼解释，这是必要的步骤。如果用别人的软件，就要跟随别人的流程，想开发新的制作流程，就必须从底层开始写自己的代码。这不是一件容易的事，技术团队能真正用起来，已经是是两年之后的事。
“编程语言和艺术创作语言，不夸张地讲是两种人的语言。”李炼告诉三声，现在博采传媒的研发团队大概三十几人，大部分是计算机、图像识别相关背景，但他们起初并不懂影视制作。“描述同一件事，可能说的都是中国话，大家也互相听不懂。”
他们的方法是让程序员下片场，让写代码的人到一线去跟拍摄，随时解决剧组的问题。有点像用做互联网产品的方式去做影视支持系统：导演是产品经理，他需要什么，程序员就提供什么。
首先被改造的是Previz（预演）环节，这是流程改造最初步的源头。
Previz并不是新概念。它全称为Previsualization，指的是复杂场景在拍摄之前的预可视化。Previz能辅助制作组模拟、调整大规模复杂特效场景的拍摄，预测实拍中将要出现的内容与机位，相当于一次低成本的精确演习。
这早已是当今电影拍摄的重要环节，如《星球大战》《霍比特人》剧组就为木桶漂流等激战情节预先做了3D动画，以确定拍摄方案。
但一般而言，Previz都是作为“参照物”存在的，它与实拍等环节相对割裂。博采传媒希望做到，Previz的数字资产能被后续环节继承利用，可以服务于更便捷、细致的开发。
“实时Previz的方式有人在影片的局部做，形成一两个镜头，但全片都这样做的目前还未有看见。”李炼说，全流程实时Preiz是公司正在推动的，这需要一整套新的底层设计。
诸如机位运动轨迹、灯光效果等数据将被保留下来，Techviz环节提至实拍之前，对Previz的资产进一步细化、精确，而后直接运用在实拍过程中，且可以快速修改。届时在实拍现场监视器上看到的画面，就无限趋同于银幕上的最终输出画面。
Previz的其中一个流程是动捕。去年博采传媒配置了一大一小两个动捕棚，基于瑞典的一套动捕设备进行开发。
这套设备原本服务于运动医学与生物解剖研究，可以拍摄每秒1000帧的高格影像，例如射箭、甩鞭等高速运动轨迹也能捕捉。利用它来开发是为了让Previz达到更高精度。为让这套技术适配影视，研发团队自行设计了配套的作业流程，支持虚拟与真实摄像机之间的无缝对接。
一般动捕的生产模式，全身动捕数据是分离录制，不可实时预览，后期需要大量重新匹配乃至返工，但博采的生产模式支持高效实时输出表演动画，让影片内容的改动变得实时简易，产能也获得了提升。
据了解，一部同品质200分钟的动画项目最快30天就可以完成，一部120分钟S级番剧制作周期约为4个月。
在博采传媒的大动捕棚里，动捕师向我们展示了工作过程：
在拿到剧本和分镜后，动捕演员会穿上装备，在中央动捕区域开始表演。环绕四周的36个红外感应摄像头，将完整记录下演员的所有动作。动捕棚里没有威亚，一些类似旋转、腾空的动作，演员会在原地或者吊臂上完成。
交付一次完美的表演后，演员的任务就结束了。至于具体的运镜与拍摄角度，都可以交由后续的镜头调试处理。这是一种镜头迁就表演者的“分层制作”概念。
动捕师坦言，刚开始时，要接受这种违反直觉的制作方式有难度。“我们一开始觉得，为什么不能直接一条拍掉，人跟着走，镜头跟着走。”
但李炼觉得，如果要进入量化生产，迭代开发，就必须分层制作。同时场地的利用率也得到提高，一个动捕场地会分割给几个剧组同时使用。如果要人迁就镜头，动辄做类似吊威亚飞荡的大动作，工程量就会变得很浩大，场地占用时间就会大幅度增加。
目前Previz环节只需要3到5个人，一个部门人数大概有十多个。“动画与实拍原本是两个完全割裂的部分，我们希望能让实拍领域的人才与动画领域的人才完全打通。改变作业模式，也是在创作表演上给两个领域带来新的刺激。”李炼说。
03 | LED环屏
在Previz环节活跃的是动捕演员，如果是动画制作，表演到这一步就结束了。但真人电影还需进入实拍阶段，将Previz中的人物替换为最终出现在银幕上的真人演员。
这需要真人演员站到Previz做好的场景中再演一遍。“屏”的作用就在这个阶段浮现。
这里所指的“屏”，不是一块简单的显示器，或者一个投影屏。它像那种在海洋公园最受欢迎的巨大环形鱼缸。
直径24米，高6.4米，弯曲成270度的环形竖屏与顶屏相接，它们由2800多块LED屏幕组成，像素间距2.0mm，亮度达到1000nit。切入一段大海的场景，海浪从身体两侧与上方涌起，将人包围。
沉浸与逼真，这是LED环屏在虚拟拍摄中屡被提及的关键词。
与普通的绿幕拍摄相比，LED屏具有几个明显优点：环屏能提供足够逼真的场景光，避免了绿幕拍摄中绿色反射到物体上的“溢色”问题，对演员投入表演也更有帮助；其次它无需抠像做后期处理，实拍的环境画面可以直接使用。
与实景拍摄相比，LED屏的可控性更强，不受天气影响，节约了外景的时间和场务等大量人力，演员临场感优于绿幕拍摄。
比如要拍黄昏，实景一天之中只有5分钟的光效，但在LED棚里，剧组可以在同样光效下拍一整天。“说严重点可能节约200%的时间。原来100个人的剧组，现在只要30个。”李炼说。
LED屏应用最知名的例子莫过于2019年末迪士尼推出的剧集《曼达洛人》。博采传媒建立环屏，比《曼达洛人》晚了大半年，并且要着手解决那些没有被曼达洛人剧组解决的技术问题。
“LED屏拍摄之前有不少限制，不能太近，不能斜着拍，不能拍全景，不能从户外转换镜头拍到室内，但我们觉得消灭这些限制才是我们的技术的标准。”李炼说。
LED屏拍摄一个最大的疑问可能是：背景真的能足够高清晰逼真，不经后期就被放到银幕上供人审视吗？这涉及一系列硬软件配合的复杂问题。
对博采传媒来说，优势在于世界上大部分LED都是中国制造的，在中国做定制，设立课题研发的基础很好，博采因此申请了一批技术专利。
他们在硬件上提升了屏幕精度。曼达洛人剧组的屏幕精度是P2.5，博采传媒的是其4倍；曼达洛人剧组在拍摄任务高速移动的镜头时，需要在背景里单独抠出一个绿幕，为人物的背景做后期，但博采传媒的屏幕已经可以拍摄每秒120帧的高速镜头，背景细节保持8K。
另外，他们还通过算法解决了诸如扩大屏幕拍摄角度（曼达洛人剧组要求屏幕与摄像机尽量呈90度）、缩减实物与屏的距离、自动去除画面中的机械臂以及屏幕摄像头追踪等一系列问题。
团队还为LED屏自研了一套控制系统，可以根据拍摄需要提供不同类型、位置的特定光源。比如演员身处黑暗的场景，需要一个顶光，软件可以控制主角头顶的某块LED屏变成光源，其他LED屏保持不变。现场所需的灯光人员可以减少至一个。
聚焦“人”本身的概念贯穿了全流程。比如拍摄一个太空漂浮的镜头，镜头运动和表扬变化在Previz中转化为机位轨迹，以及随着机位变化的LED屏背景。实拍演员时，不需要飞来飞去只需要控制表情就可以了。
“理论上我们的虚拟制片流程可以让所有步骤可以变得很确定。”李炼说，“甚至实拍阶段，摄影可以完全交由机器来做。”大量工作交由前置准备完成，实拍和后期工作就变得更确定更可控，理想状态下不存在“补拍”环节。
04 | 未来规划
2019年，李炼拿一个虚拟拍摄的初步demo飞去了美国，和六大制片公司的高层见面，介绍并行实时开发的想法。制片公司们对此表现出兴趣，但似乎并没有在这方面有技术准备。
当博采把demo发到fecebook上，收到了许多业内人士的积极反馈。“一天之内有差不多900个人来联系，都是业内对虚拟制片很有研究的人，说明在全球范围当中，制片流程都是大家想要解决，没解决的问题。”李炼说。
在国内关于虚拟制片，大家谈论更多是LED屏的问题，但李炼认为那不是虚拟制片的核心。真正的核心是看不见的，对底层制片逻辑的更新。
“以前想追赶或者想超越，都是在原来那条重工业、线性开发的路上，超越基本不太可能，追多少年才能追上都不知道。现在是换了一条赛道，不是用原来好莱坞那套工业体系，而是走了新的流程。”
李炼认为，在虚拟制作的研发上，国内外是同一起跑线的，甚至国内有些环节更领先。走得早一些的博采传媒，在技术端口上已经有了一些优势。
屏并不是虚拟制片的全部，真正的大空间是在前端，优化软硬件配合。接下来博采传媒希望解决系统易用性的问题，把开发软件的UI界面做得更适配艺术家，更快速高效、便于使用。
其次需要解决人才问题。最稀缺的工种是技术研发，另外虚拟拍摄现场的支持工种，如屏幕维护、灯光调控、摄影监控等被统称为LED支持团队，都是要同时有导演与技术经验才能做好。
“在整套技术中根本找不到一个现成的人，所有的人员都是自己培养，”李炼说，这就是为什么目前为止，想复刻这个技术不容易，因为没有办法短时间同时构建几个完整的团队。他们接下来的工作之一就是构建培养更多人才。
可以预见，随着虚拟制片的普及，影视行业的分工也将发生改变。“未来的电影行业可能就是导演加上很多做技术工作的人，原本剧组干体力活的人数量会大幅减少，换成比原来数量少得多的技术人才。”
到以后，导演可能只需要带主创进场，人在执行中的制约因素越来越少，可能会有很多编剧可以自己做导演。
另一个新技术是深度学习，它的目的是让虚拟制片变得更智能，创作者更随心所欲。“因为我们的目标是后期前置，尽量让这个片子无限接近最后的结果。像抠像这种简单的事，就让机器干。”
短视频平台如快手、百度等都已经推出了智能剪辑工具，但与它们相比，影视智能剪辑的深度学习资源是影视剧，捕捉更精确的剪辑手法与镜头语言，学习时间更长，资源量更少。
据团队接触发现，现在国内对虚拟制作感兴趣的创作者不在少数，但真正敢去试的不多，“原因是大家都不知道会在这个技术面前碰到什么，感觉突然一下变得无知，所以很多人抗拒这件事情，不愿去尝试。”
但李炼相信这种状况很快就会改变。这套并行开发的体系给了导演更多试错机会，能更有效地实现导演的想法，让创作变成一件更具个人特色的事情。
目前博采传媒已经合作了几部院线电影和综艺，也在制作自己的科幻题材的电影。加上公司之前在动画电影和广告方面的丰富经验，这套虚拟制片体系让公司大面积扩展了业务视野，真人影视和动画融为一体，拓宽内容产出的风格，甚至有机会与游戏产业、与当下火热的Metaverse做结合——虚拟制作体系天然适合生产沉浸感官的内容。
公司一方面会加紧复制团队，另一方面会在浙江建立虚拟拍摄基地，其中一个8米高的新屏幕已经在安吉建成，准备投入使用了。接下来就是在新体系下高效产出内容。
李炼对博采的技术优势有信心，但也保持着危机感，他认为一个新的产业模型可能被复制，但影视行业如果失去原本应该有的积淀，只做简单的模型复制，有可能伤害的是整个影视产业的未来发展前景。
©三声原创内容 转载请联系授权
【爆料或寻求报道】加微信号：sanshengss333
【商务合作】加微信号：sansheng_kefu
【点击下方图片】了解更多精彩文章